联邦学习（FL）的稳健性对于分布式培训的准确全球模型的分布式培训至关重要。通过典型聚合模型更新的协作学习框架容易受到来自对抗客户的中毒攻击。由于全局服务器和参与者之间的共享信息仅限于模型参数，因此检测错误的模型更新是挑战性的。此外，现实世界数据集通常在参与者中异质且不独立，并且不独立，并且在非IID中分布（非IID），这使得这种稳健的流水线更加困难。在这项工作中，我们提出了一种新颖的鲁棒聚集方法，联邦鲁棒自适应蒸馏（Fedrad），以检测基于中值统计的属性的对手和鲁棒地聚合本地模型，然后执行适应的集合知识蒸馏。我们运行广泛的实验，以评估拟议的方法对最近公布的作品。结果表明，FEDRAD在存在对手的情况下表现出所有其他聚合器，以及异构数据分布。
translated by 谷歌翻译
Retrieval-augmented in-context learning has emerged as a powerful approach for addressing knowledge-intensive tasks using frozen language models (LM) and retrieval models (RM). Existing work has combined these in simple "retrieve-then-read" pipelines in which the RM retrieves passages that are inserted into the LM prompt. To begin to fully realize the potential of frozen LMs and RMs, we propose Demonstrate-Search-Predict (DSP), a framework that relies on passing natural language texts in sophisticated pipelines between an LM and an RM. DSP can express high-level programs that bootstrap pipeline-aware demonstrations, search for relevant passages, and generate grounded predictions, systematically breaking down problems into small transformations that the LM and RM can handle more reliably. We have written novel DSP programs for answering questions in open-domain, multi-hop, and conversational settings, establishing in early evaluations new state-of-the-art in-context learning results and delivering 37-200%, 8-40%, and 80-290% relative gains against vanilla LMs, a standard retrieve-then-read pipeline, and a contemporaneous self-ask pipeline, respectively.
translated by 谷歌翻译
Neural information retrieval (IR) systems have progressed rapidly in recent years, in large part due to the release of publicly available benchmarking tasks. Unfortunately, some dimensions of this progress are illusory: the majority of the popular IR benchmarks today focus exclusively on downstream task accuracy and thus conceal the costs incurred by systems that trade away efficiency for quality. Latency, hardware cost, and other efficiency considerations are paramount to the deployment of IR systems in user-facing settings. We propose that IR benchmarks structure their evaluation methodology to include not only metrics of accuracy, but also efficiency considerations such as a query latency and the corresponding cost budget for a reproducible hardware setting. For the popular IR benchmarks MS MARCO and XOR-TyDi, we show how the best choice of IR system varies according to how these efficiency considerations are chosen and weighed. We hope that future benchmarks will adopt these guidelines toward more holistic IR evaluation.
translated by 谷歌翻译
We present MegaBlocks, a system for efficient Mixture-of-Experts (MoE) training on GPUs. Our system is motivated by the limitations of current frameworks, which restrict the dynamic routing in MoE layers to satisfy the constraints of existing software and hardware. These formulations force a tradeoff between model quality and hardware efficiency, as users must choose between dropping tokens from the computation or wasting computation and memory on padding. To address these limitations, we reformulate MoE computation in terms of block-sparse operations and develop new block-sparse GPU kernels that efficiently handle the dynamism present in MoEs. Our approach never drops tokens and maps efficiently to modern hardware, enabling end-to-end training speedups of up to 40% over MoEs trained with the state-of-the-art Tutel library and 2.4x over DNNs trained with the highly-optimized Megatron-LM framework.
translated by 谷歌翻译
2022-09-19
对3D对象的触觉识别仍然是一项具有挑战性的任务。与2D形状相比，3D表面的复杂几何形状需要更丰富的触觉信号，更灵活的动作和更高级的编码技术。在这项工作中，我们提出了Tandem3D，该方法将共同训练框架应用于探索和决策的框架对3D对象识别具有触觉信号。从我们以前的工作开始，该工作引入了2D识别问题的共同训练范式，我们引入了许多进步，使我们能够扩展到3D。串联3D基于一个新颖的编码器，该编码器使用PointNet ++从触点位置和正态构建3D对象表示。此外，通过启用6DOF运动，Tandem3D以高效率探索并收集歧视性触摸信息。我们的方法完全在模拟中训练，并通过现实世界实验进行验证。与最先进的基线相比，串联3D在识别3D对象方面达到了更高的准确性和较低的动作，并且也证明对不同类型和数量的传感器噪声更为强大。视频可在https://jxu.ai/tandem3d上获得。
translated by 谷歌翻译
Google，Amazon和Microsoft等提供商提供的商业ML API已在许多应用程序中大大简化了ML的采用。许多公司和学者都为使用ML API用于对象检测，OCR和情感分析等任务。处理相同任务的不同ML API可能具有非常异构的性能。此外，API的基础模型也随着时间的推移而发展。随着ML API迅速成为一个有价值的市场，并且是消耗机器学习的广泛方式，因此系统地研究和比较不同的API并表征API随时间变化的方式至关重要。但是，由于缺乏数据，目前该主题目前没有被忽视。在本文中，我们介绍了HAPI（API的历史），该数据集由1,761,417个商业ML API应用程序（涉及来自亚马逊，Google，IBM，Microsoft和其他提供商的API），包括图像标签，文本识别和文本识别和文本识别和文本，从2020年到2022年的挖掘。每个实例都由API的查询输入（例如图像或文本）以及API的输出预测/注释和置信分数组成。 HAPI是ML API使用情况的第一个大型数据集，并且是研究ML-AS-A-Service（MLAAS）的独特资源。作为HAPI启用的分析类型的示例，我们表明ML API的性能会随着时间的流逝而大幅变化 - 在特定基准数据集上删除了几个API的精度。即使API的汇总性能保持稳定，其误差模式也可以在2020年至2022年之间在不同的数据子类型中转移。这种更改可能会大大影响使用某些ML API作为组件的整个分析管道。随着时间的流逝，我们进一步使用HAPI研究人口亚组的商业API绩效差异。 HAPI可以刺激MLAA的不断发展领域的更多研究。
translated by 谷歌翻译
部署的机器学习（ML）模型经常遇到与培训数据不同的新用户数据。因此，估计给定模型在新数据上的性能是朝着可靠的ML应用程序迈出的重要一步。但是，这是非常具有挑战性的，因为数据分布可以以灵活的方式变化，并且我们可能没有新数据上的任何标签，这在监视设置时通常是这种情况。在本文中，我们提出了一种新的分配移位模型，即稀疏关节移位（SJS），该模型考虑了标签和一些特征的关节移位。这统一并概括了几种现有的偏移模型，包括标签移位和稀疏协变量移位，仅考虑边际特征或标签分布位移。我们描述了SJS可识别的数学条件。我们进一步提出了See，这是一个算法框架，以表征SJS下的分布变化，并估计模型在没有任何标签的新数据上的性能。我们在具有各种ML模型的几个现实世界数据集上进行了广泛的实验。在不同的数据集和分配变化中，看到对现有方法的误差改善（最多达到数量级）的显着（最多）。
translated by 谷歌翻译
我们研究了顺序预测和在线minimax遗憾的问题，并在一般损失函数下具有随机生成的特征。我们介绍了一个预期的最坏情况下的概念minimax遗憾，它概括并涵盖了先前已知的minimax遗憾。对于这种极匹马的遗憾，我们通过随机全局顺序覆盖的新颖概念建立了紧密的上限。我们表明，对于VC-Dimension $ \ Mathsf {Vc} $和$ I.I.D. $生成的长度$ t $的假设类别，随机全局顺序覆盖的基数可以在上限上限制高概率（WHP） e^{o（\ mathsf {vc} \ cdot \ log^2 t）} $。然后，我们通过引入一种称为Star-Littlestone维度的新复杂度度量来改善这种束缚，并显示与Star-Littlestone dimension $ \ Mathsf {Slsf {sl} $类别的类别允许订单的随机全局顺序覆盖$ e^{o（\ Mathsf） {sl} \ cdot \ log t）} $。我们进一步建立了具有有限脂肪的数字的真实有价值类的上限。最后，通过应用固定设计的Minimax遗憾的信息理论工具，我们为预期的最坏情况下的Minimax遗憾提供了下限。我们通过在预期的最坏情况下对对数损失和一般可混合损失的遗憾建立紧密的界限来证明我们的方法的有效性。
translated by 谷歌翻译
故障自然是随机的，而大多数人造系统，尤其是计算机都可以确定地工作。这需要将概率理论与数学逻辑，自动机和切换电路理论联系起来。本文通过量子信息理论提供了这种连接，这是量子物理学遵守概率定律的直观方法。在本文中，我们提供了一种新的方法，用于计算使用基于门的量子计算机开关电路的诊断。该方法是基于将代表叠加错误的量子位放置的想法，并同时诊断出所有的量子，通常是指数级的。我们从经验上将用于诊断的量子算法与基于SAT和模型计数的方法进行比较。对于组合电路的基准，我们在估计故障的真实概率方面建立了不到百分之一的误差。
translated by 谷歌翻译
我们展示了一个端到端框架，以提高人造系统对不可预见的事件的弹性。该框架基于基于物理的数字双胞胎模型和三个负责实时故障诊断，预后和重新配置的模块。故障诊断模块使用基于模型的诊断算法来检测和分离断层，并在系统中产生干预措施，以消除不确定的诊断解决方案。我们通过使用基于物理学的数字双胞胎的平行化和替代模型来扩展故障诊断算法为所需的实时性能。预后模块跟踪故障进度，并训练在线退化模型，以计算系统组件的剩余使用寿命。此外，我们使用降解模型来评估断层进程对操作要求的影响。重新配置模块使用基于PDDL的计划，并带有语义附件来调整系统控件，从而最大程度地减少了对系统操作的故障影响。我们定义一个弹性度量，并以燃料系统模型的示例来说明该指标如何通过我们的框架改进。
translated by 谷歌翻译